目录一、高可用（HA）的背景知识1.1 单点故障1.2 如何解决单点故障 1.2.1主备集群 1.2.2  Active、Standby1.2.3 高可用1.2.4 集群可用性评判标准（x 个 9）1.3 HA 系统设计核心问题 1.3.1脑裂问题 1.3.2数据状态同步问题二、NAMENODE 单点故障问题 2.1概述 2.2解决 三、HDFSHA 解决方案--QJM3.1QJM—主备切换、脑裂问题解决3.1.1 ZKFailoverController（zkfc）3.1.2 Fencing（隔离）机制 3.2 主备数据状态同步问题解决 四、HDFSHA 集群搭建 4.1 HA 集群规划 4

❤️作者主页：小虚竹❤️作者简介：大家好,我是小虚竹。2022年度博客之星评选TOP10🏆，Java领域优质创作者🏆，CSDN博客专家🏆，华为云享专家🏆，掘金年度人气作者🏆，阿里云专家博主🏆，51CTO专家博主🏆❤️技术活，该赏❤️点赞👍收藏⭐再看，养成习惯文章目录零：前言特性一：PolarDB无感切换丝滑体验1.1、数据库高可用演进1.2、无感切换核心技术全新的高可用系统VDS全局预热系统保持连接事务保持核心技术的优势1.3、适用场景游戏行业的痛点对应的解决方案实战演练1.4、丝滑体验特性二：PolarDB透明分布式无损应用最佳实践2.1、PolarDB（PolarDB-X）透明分布式发展史

目录        使用Flink处理Kafka中的数据前提： 一， 使用Flink消费Kafka中ProduceRecord主题的数据具体代码为（scala）执行结果二，使用Flink消费Kafka中ChangeRecord主题的数据          具体代码(scala)                具体执行代码①            重要逻辑代码② 执行结果为：使用Flink处理Kafka中的数据        前提：    创建主题 ：ChangeRecord    ，   ProduceRecord    使用

一.前言ApachePaimon最典型的场景是解决了CDC（ChangeDataCapture）数据的入湖，看完这篇文章可以了解到：1、为什么CDC入Hive迁移到Paimon？2、CDC入Paimon怎么样做到成本最低？3、Paimon对比Hudi有什么样的优势？ Paimon从CDC入湖场景出发，希望提供给你 简单、低成本、低延时 的一键入湖。本文基于Paimon0.6，0.6正在发布中，可提前在此处下载：https://paimon.apache.org/docs/master/project/download/二.CDC入HiveCDC数据来自数据库。一般来说，分析需求是不会直接查询数

目录1.Flink+Kafka保证精确一次消费相关问题？2.你们的Flink怎么提交的？使用的per-job模式吗？3.了解过Flink的两阶段提交策略吗？讲讲详细过程。如果第一阶段宕机了会怎么办？第二阶段呢？4.你是如何通过Flink实现uv的？5.Flink中的双流join怎么实现？6.Flink的checkpoint文件是保存在哪里,可以选择哪些？7.Flink维表关联怎么做的（应该是开发必做，建议提前准备）8.Flink数据倾斜是怎么解决的？9.Flink如何处理乱序数据?10.Flink内存溢出怎么办？11.Flink试过哪些优化？12.Flink的重启策略怎么设置的?13.Flin

flink是什么        是一个框架和分布式处理引擎，在无边界和有边界数据流上纪念性有状态的计算主要特性  1.批流统一         批处理：数据全部访问完成后进行操作                   有界、持久、大量，适合访问全套记录才能完成的工作，一般用于离线统计         流处理：来一条数据处理一条数据                   无界、实时，不需要操作整个系统        无界流(Datastream)：只有开始，没有结束，要以特定的顺序获取，并且获取后立即处理        有界流(DataSet)：开始结束都有，数据全部获取后执行，可以被排序    2

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第一章、Flink的容错机制Ⅰ、Flink的容错机制1.概念：Ⅱ、 状态的一致性：1.一致性级别：2.端到端的状态一致性Ⅲ、Flink容错机制的配置参数1.checkpoint.interval：2.checkpoint.timeout：3.checkpoint.max-concurrent-checks：4.checkpoint.min-pause-between-checkpoints：5.checkpoi

我正在创建一个社交android+ios应用程序，我同时使用苹果推送通知系统和谷歌云消息传递。我在应用程序运行和未运行时都使用推送通知。我在应用程序运行时没有使用任何网络套接字，因此通知一直通过apns和gcm推送。我知道两者都不是100%可靠的，这就是我感到困惑的地方。facebook、instagram、snapchat和其他应用程序如何确保始终发送通知。他们是否在应用程序运行时使用websockets而在应用程序未运行时使用apns/gcm？我怎样才能确保始终通知“好友请求”之类的内容？或者我是否应该不时访问服务器以保持应用程序更新，以防它错过任何应该像“friend请求”一样推

Debezium系列之：FlinkSQL消费Debezium数据格式，同步数据到下游存储系统一、Debezium二、依赖三、使用DebeziumFormat四、可用元数据五、Format参数六、重复的变更事件七、消费DebeziumPostgresConnector产生的数据八、数据类型映射一、DebeziumDebezium是一个CDC（ChangelogDataCapture，变更数据捕获）的工具，可以把来自MySQL、PostgreSQL、Oracle、MicrosoftSQLServer和许多其他数据库的更改实时流式传输到Kafka中。Debezium为变更日志提供了统一的格式结构，并

文章目录LookupJoin（维表Join）LookupJoin（维表Join）LookupJoin定义（支持Batch\Streaming）：LookupJoin其实就是维表Join，比如拿离线数仓来说，常常会有用户画像，设备画像等数据，而对应到实时数仓场景中，这种实时获取外部缓存的Join就叫做维表Join。